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Виявлення автомоб1льних номерних знакв 
з використанням попередньо! обробки кандидат!в 


Статья посвящена проблеме ускорения процесса поиска объектов на изображениях, основанного на 
использовании мультимасштабного сканирования. Для решения этой задачи предлагается использовать 
предварительную обработку кандидатов с использованием интегральных характеристик, которая 
реализуется как первый этап каскада классификаторов смешанного типа. В качестве тестовой задачи 
выбрана задача обнаружения на цифровых изображениях номерных знаков автомобилей. Полученный 
каскад классификаторов позволил увеличить быстродействие обработки изображений при обнаружении 
номерных знаков в 1.6 раза по сравнению с каскадом линейных классификаторов, полученным с помощью 
алгоритма АдаВооз. Результаты проведенных экспериментов могут быть распространены на задачи 
поиска других объектов на изображениях. 

Ключевые слова: распознавание изображений, обнаружение объектов, анализ изображений, 
классификация изображений. 
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Введение 


Задача обнаружения объектов является актуальным направлением исследова- 
ний в области создания автоматических систем анализа и распознавания изображений. 
В данной статье рассматривается один из подходов решения этой задачи, основанный на 
мультимасштабном сканировании изображений и классификации типа объект/фон 
каждого получаемого в ходе сканирования кандидата [1]. Кандидатами на принад- 
лежность классу объекта в данном случае являются фрагменты исходного изображе- 
ния, определяемые положением и масштабом сканирующего окна. Вычислительную 
сложность процесса обнаружения, основанного на мультимасштабном сканировании 
изображений, определяют число кандидатов и сложность используемых классификаторов. 

Для ускорения процесса классификации в большинстве случаев удается выпол- 
нить каскадную организацию классификаторов, целью которой является исключение 
большего количества кандидатов на начальных более простых классификаторах каскада. 
Для получения каскада классификаторов можно использовать объединения простых 
Хаар-подобных свойств, полученные на основе алгоритма АдаВооз [2-5], МКВ-класси- 
фикаторов [6] и др. Кроме этого, как показано в работе [7], вычислительную сложность 
можно уменьшить на основе использования предобработки, и введение ее в каскад 
классификаторов в качестве первого классификатора каскада. Тип предварительной об- 
работки определяется свойствами объекта поиска, а ее эффективность определяется в 
ходе дополнительных специальных экспериментов, аналогичных проведенным в работе [7]. 

Целью работы является получение каскада классификаторов смешанного типа и 
определение достигнутых показателей производительности на задаче обнаружения 
автомобильных номерных знаков. 


Используемые признаки для классификации кандидатов 


Основными критериями качества признака для решения широкого круга задач, 
и в особенности задач распознавания зрительных образов, являются его разделитель- 
ные свойства и сложность его получения, учитывая необходимость быстрого поиска 
области объекта, что предполагает классификацию большого числа кандидатов при 
обработке одного изображения. При формировании каскада классификаторов исполь- 
зовались два вида признаков, основанных на сопоставлении изображения кандидата 
со свойствами, представляющими собой расширение Хаар-подобных свойств (рис. 1). В 
отличие от Хаар-подобных свойств, используемые свойства представляют собой оценку 
яркостей изображения кандидата в двух произвольных прямоугольных областях изобра- 
жения. 

Значение свойства для заданного фрагмента изображения вычисляется на основе 
следующих выражений: 


не $5 с $4 (1) 
№ №. 
в случае непересекающихся областей (рис. Та), И 
= 55 г Зч ЗЫ Е (2) 
М, М. — Мчев 


в случае пересечения областей (рис. 16). Здесь индексы Ч и Б означают черную и 
белую области соответственно, а ЧПБ — обозначает область пересечения областей 
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черного и белого цвета; $ — сумма яркостей пикселей изображения, находящихся под 
областью; М — число пикселей изображения, находящихся под областью. Таким об- 
разом, значения свойств означают разность средних яркостей пикселей реальной 
области изображения, находящихся под белой частью изображения свойства и на- 
ходящихся под его черной частью (рис. 1). 


а) 6) 
Рисунок 1 — Вид прямоугольных свойств, используемых в качестве признаков 
при обнаружении объектов: 
а) области не пересекаются; 6) области пересекаются 


Значение признака для данной области изображения, основанного на описанных 
свойствах, вычисляются на основе полученных значений свойств К (1) и (2) согласно 
выражениям: 


ти В >0; 6) 
ВО: 
И 
1, (В-Р).р>0; 
Е= (4) 
-Ь(В-Р).р=0 


Выражение (3) для вычисления значения признака используются при обучении 
и использовании МКВ-классификаторов, основанных на представлении пространства 
объектов распознавания в виде многомерного гиперкуба, число измерений которого 
равно числу используемых признаков [6]. Выражение (4) используется при комби- 
нировании признаков в виде линейного классификатора при помощи алгоритма 
АдаВооз: [5]. В выражении (4) Р — порог и О — направление признака определяются в 
ходе выполнения обучения классификатора. 


Обучение каскада классификаторов 


Для обучения каскада классификаторов, используемых в ходе мультимасштабного 
сканирования изображений для обнаружения автомобильных номерных знаков, исполь- 
зовалась обучающая база изображений автомобилей, полученных в реальных условиях 
дорожной обстановки. База содержала 2 000 изображений, размеченных вручную. Для 
формирования обучающего набора изображений номерных знаков каждое изображение 
номерного знака подвергалось перспективным и масштабным преобразованиям, что 
позволило расширить обучающий набор до 30 000 изображений номеров. При форми- 
ровании обучающего набора фоновых изображений использовалось мультимасштабное 
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сканирование изображений, аналогичное используемому при обнаружении. На каждом 
этапе обучения классификаторов каскада в качестве обучающего набора изображений 
фона случайным образом выбирались 30000 кандидатов, ложно классифицируемых уже 
обученными классификаторами как изображения номерных знаков. 

В ходе обучения каскада был получен каскад классификаторов смешанного типа, 
включающий в себя 10 классификаторов. Первый классификатор был основан на пред- 
обработке кандидатов, предложенной в [7]. В ходе предобработки использовалось раз- 
биение кандидата на две равные части по горизонтали, как показано на рис. 2. 


Рисунок 2 — Используемый вид разбиения кандидата на подобласти 
Для каждой подобласти на основе интегральных изображений рассчитывались 
математическое ожидание яркости М1 и М2 и дисперсия яркости 01 и 02. Значение 
признака, используемого для отделения изображений номерных знаков от фона, рассчи- 
тывалось по формуле: 


ши(р,,О,) 


\Лтах(М,,М,). 


Второй, третий и четвертый классификаторы использовали МКВ-классификатор, 
остальные — линейные классификаторы, полученные с помощью алгоритма АдаВоо$. 
Параметры полученных классификаторов и всего каскада приведены в табл. 1. 


Таблица 1 — Параметры полученного каскада классификаторов 


№ Тип Число Ошибка Ошибка ложного 
признаков пропуска обнаружения 
1 | Предобработка — 0 0:57 
2 | МКВ - 0.005 0.28 
3 | МКВ 8 0.005 0.30 
4 | МКВ 10 0.005 0.33 
5_| Линейный 50 0.005 0.23 
6 | Линейный 150 0.005 0.18 
7 | Линейный 250 0.005 0.19 
8 | Линейный 500 0.005 0.10 
9 | Линейный 700 0.005 0.11 
10 | Линейный 1000 0.005 0.09 
Для всего каскада 
Среднее число признаков 6.17 
при обработке кандидата 
Ошибка пропуска 0.044 
Ошибка ложного обнаружения 1.2.107 


Тестирование каскада классификаторов 


Для тестирования полученного каскада классификаторов была разработана про- 
грамма автоматического обнаружения на изображениях номерных знаков. Для тестиро- 
вания использовалась база изображений автомобилей, полученных в реальных дорожных 
условиях, и содержащая 3 000 изображений, не входивших в набор, использованный 
для обучения каскада. 
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Для сравнительного анализа скоростных показателей полученного в работе каскада 
классификаторов смешанного типа использовался ранее полученный каскад, составлен- 
ный из линейных классификаторов, полученных с помощью алгоритма АдаВооз на 
аналогичном обучающем наборе. Каскад содержит 8 линейных классификаторов, ха- 
рактеристики которых приведены в табл. 2. 


Таблица 2 — Параметры каскада линейных классификаторов, 
используемого для сравнительного анализа 


№ Ошибка пропуска | Ошибка ложного 
классификатора | номерного знака обнаружения 
1 0.005 0.19 
2. 0.005 0.31 
3 0.005 0.34 
4 0.005 0.20 
5 0.005 0.10 
6 0.005 0.12 
7 0.005 0.04 
8 0.005 0.05 
Для всего каскада 
Ошибка пропуска 0.04 
Ошибка ложного обнаружения 0.96-1077 


Как ВИДНО ИЗ табл. 1и 2 сравниваемые каскады близки по качественным характе- 
ристикам, полученным в результате обучения. 

В ходе тестирования на вход программы подавался тестовый набор изображений, 
и выполнялось сравнение автоматически найденного положения номерного знака с 
положением, отмеченным вручную. Номерной знак считался обнаруженным правильно, 
если выполнялось следующее условие: 


2 
5 +5, 


где 5 л - Площадь пересечения автоматически найденного положения и эталонног о, 
м — площадь эталонного положения номера, 5 — площадь автоматически найден- 
ной области номера. Все автоматические найденные на изображении номерные знаки, 
для которых приведенное выше условие не выполняется, считались ложно обнару- 
женными. Для получения общей оценки ошибки ложного обнаружения ВЫЧИСЛЯЛОСЬ 
отношение числа ложно найденных номеров на всех изображениях тестового набора к 
количеству тестовых изображений. Для оценки вычислительной сложности сравниваемых 


каскадов использовалось общее время обработки тестового набора изображений. 
Результаты проведенного сравнительного тестирования приведены в табл. 3. 


Таблица 3 — Результаты тестирования каскадов на задаче обнаружения 
автомобильных номеров 


Тестовый параметр Каскад классификаторов Каскад линейных 
смешанного типа классификаторов 

Время обработки тестового 450 707 
набора, сек 
Доля правильно 0.973 0.975 
обнаруженных номерных 
знаков 
Ошибка ложного 0.198 0.215 
обнаружения 
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Как видно из табл. 3, по качественным характеристикам (правильное и ложное 
обнаружение) сравниваемые каскады показали приблизительно одинаковые резуль- 
таты, что соответствует характеристикам каскадов, полученным по результатам обуче- 
ния (табл. 1 и 2). Полученные показатели правильного обнаружения (более 97%) и 
ошибки ложного обнаружения (в среднем 0.2 ложных срабатывания на изображение) 
говорят о применимости полученных классификаторов для создания прикладных систем 
поиска и распознавания номерных знаков. 

Оценка вычислительной сложности сравниваемых каскадов показала преиму- 
щество каскада классификаторов смешанного типа перед каскадом линейных клас- 
сификаторов, что говорит о перспективности использования предложенного подхода 
для ускорения процесса обнаружения номерных знаков. Как видно из табл. 3, использо- 
вание каскада классификаторов смешанного типа позволило увеличить быстродейст- 
вие обработки изображений приблизительно в 1.6 раза. 


Выводы 


Результаты проведенных исследований показали перспективность использования 
при мультимасштабном сканировании изображений с целью обнаружения объектов 
каскада классификаторов смешанного типа. В ходе проведенных экспериментов по- 
лученный каскад показал увеличение быстродействия обработки изображений при 
обнаружении автомобильных номерных знаков в 1.6 раза по сравнению с каскадом 
линейных классификаторов, полученных с помощью алгоритма АдаВооз. 

Полученные показатели правильного обнаружения (более 97%) и ошибки ложного 
обнаружения (в среднем 0.2 ложных срабатывания на изображение) говорят о при- 
менимости полученных классификаторов для создания прикладных систем поиска и 
распознавания номерных знаков. 

Результаты проведенных экспериментов могут быть распространены на задачи 
поиска других объектов на изображениях. 
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Дееспноп о Саг Кезятаноп Рие; тий Изе 


о} Ргейттагу Ргосезуте о Сап@ае5 

ТВе агисе 15 Чеуое4 ю а ргоет о? ассе]егаНоп оЁ обес дщесНоп ргосе$$ оп Фе 
ппасез, фе ти азсайе зсаппте Базе оп изе. Еог Фе зо[аНоп оф 1$ ЧазК и 15 оНегеа ю 
изе ргтеПпитагу ргосеззше ог сап41Чайе$ УИ изе оЁ пщеотаей сБагасет15Ис$ Умсь 1$ 
геаП7е аз 1е Вг5{ 5басе оЁ Ше с1аз1Негз сазса4е оЁ Ше пихе4 фуре. Аз а {е5ё 1азК Ше 
ргоет ог дщесНоп оп 42Иа| пптасез оЁ сагз гео1зтайоп р]а{ез 15 сВозеп. Те гесетуе4 
сазсаде оЁ с1азз1егз аПо\уе4 1ю шстеазе сотршайопа| реоппапсе оЁ ппазе$ ргосеззте 
а даесНоп оЁ геолзфтайоп р!аез$ Бу 1.6 Итез ш сотранзоп УИ Фе сазсаде ог Ппеаг 
с1аз$1етгз гесетуе4 Бу теапз оЁ АдаВооз{ а! огл. 

ТВе гесетуе свагащен$Исз оЁ Фе сотгес{ даесйоп (тоге ап 97%) ап еггогз оЁ 
Га[5е даесйоп (оп Фе ауегазе 0.2 Ёа15е даесНоп$ оп Фе ппазе) 1е] або аррИсабШиИу оЁ 
фе гесегуе4 с1аззШегз Гог сгеаНоп о{ аррЦе4 зузет$ оЁ зеагсН ап тесоотНоп оё саг 
теолэтайоп р|аёез. 

ТБе гези 5$ оГ фе ехрегипеп сап Бе ежепае4 № Ше рго ет оЁ Нпаште офег 
об] ес ш Ше итазез ргоу14е4 аЧЧ1опа| тезеагсн 10 дееттше а зайзРасогу пщеота| 
Геафге, Чие © Фе Аа1ТегепЕ ргорегиез оГащецще4 оБ]есе 1тасез. 
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